We propose a neural network-based model for nonlinear dynamics in continuous time that can impose inductive biases on decay rates and/or frequencies. Inductive biases are helpful for training neural networks especially when training data are small. The proposed model is based on the Koopman operator theory, where the decay rate and frequency information is used by restricting the eigenvalues of the Koopman operator that describe linear evolution in a Koopman space. We use neural networks to find an appropriate Koopman space, which are trained by minimizing multi-step forecasting and backcasting errors using irregularly sampled time-series data. Experiments on various time-series datasets demonstrate that the proposed method achieves higher forecasting performance given a single short training sequence than the existing methods.
translated by 谷歌翻译
汇总数据通常出现在社会经济和公共安全等各个领域。汇总数据与点不关联，而与支持（例如，城市中的空间区域）相关联。由于支撑物可能取决于属性（例如贫困率和犯罪率），因此对此类数据进行建模并不直接。本文提供了一个多输出高斯流程（MOGP）模型，该模型使用各自粒度的多个聚合数据集侵入属性的功能。在提出的模型中，每个属性的函数被认为是建模为独立潜在GPS的线性混合的依赖GP。我们设计一个具有每个属性聚合过程的观察模型；该过程是GP在相应支持上的组成部分。我们还引入了混合权重的先验分布，该分布可以通过共享先验来跨域（例如城市）进行知识转移。在这种情况下，这是有利的，因为城市中的空间汇总数据集太粗糙而无法插值。提出的模型仍然可以通过利用其他城市中的聚合数据集来准确地预测属性。提出的模型的推断是基于变异贝叶的，它使人们能够使用来自多个域的聚合数据集学习模型参数。该实验表明，所提出的模型在改善现实世界数据集上的粗粒骨料数据的任务中胜过：北京的空气污染物的时间序列以及来自纽约市和芝加哥的各种空间数据集。
translated by 谷歌翻译
已经提出了许多基于神经网络的分布（OOD）检测方法。但是，他们需要每个目标任务的许多培训数据。我们提出了一种简单而有效的元学习方法，可以在目标任务中使用小的分布数据检测OOD。使用提出的方法，通过潜在空间中的密度估计进行OOD检测。所有任务之间共享的神经网络用于灵活地将原始空间中的实例映射到潜在空间。对神经网络进行元学习，以便通过使用不同于目标任务的各种任务来提高预期的OOD检测性能。这种元学习过程使我们能够在潜在空间中获得适当的代表，以进行OOD检测。为了进行密度估计，我们使用每个类别的高斯混合模型（GMM）。我们可以通过最大化可能性，以封闭形式调整GMM参数在每个任务中的分布数据。由于封闭形式的解决方案是可区分的，因此我们可以通过将溶液纳入元学习目标函数来有效地使用随机梯度下降方法进行元学习。在使用六个数据集的实验中，我们证明了所提出的方法比现有的元学习和OOD检测方法更好的性能。
translated by 谷歌翻译
虽然深层模型实现了高预测性能，但人类难以理解他们所做的预测。解释性对于真实世界的应用来说是一个合理的可靠性。已经提出了许多基于示例的解释方法，例如代表点选择，其中由一组训练示例定义的说明模型用于解释预测模型。为了提高解释性，减少解释模型中的示例的数量是重要的。然而，具有较少示例的解释可以是不忠的，因为通过基于这样的示例的解释模型很难难以近似预测模型。不忠实的解释意味着可解释模型的预测与预测模型的预测不同。我们提出了一种培训深层模型的方法，使得他们的预测是通过具有少量示例的解释模型来忠实解释的预测。我们使用稀疏常规器同时培训预测和解释模型，以减少示例的数量。所提出的方法可以纳入任何基于神经网络的预测模型。使用多个数据集的实验表明，所提出的方法在保持预测性能的同时提高忠诚。
translated by 谷歌翻译
在自然灾害期间迫切需要的疏散避难所旨在尽量减少对人类幸存者的疏散负担。然而，灾难的规模越大，操作避难所的成本越高。当疏散物的数量减少时，通过将剩余的疏散物移动到其他避难所和尽可能快地关闭挡板来减小操作成本。另一方面，庇护所之间的搬迁对疏散者造成了巨大的情感负担。在这项研究中，我们制定了“疏散避难所调度问题”，它以避难所分配避难所，以尽量减少避难所的运动成本和避难所的运营成本。由于很难直接解决这一二次编程问题，因此我们将其转换为0-1整数编程问题。此外，这种配方努力计算从历史数据中重新安置它们的负担，因为实际没有付款。为了解决这个问题，我们提出了一种方法，该方法根据实际灾难期间基于撤离者和庇护所的数量估算运动成本。仿真实验与神户地震（Great Hanshin-Awaji地震）的记录表明，我们的建议方法将运营成本减少3370万美元：32％。
translated by 谷歌翻译
对于具有复杂结构的高尺度数据的贝叶斯优化（BO），用于高斯过程（GPS）的神经网络基石已被用于学习灵活的替代功能，深入学习的高代表力量。然而，现有方法通过最大化边际可能性来培训神经网络，这不会直接提高BO性能。在本文中，我们提出了具有基于神经网络的核的元学习方法，其最小化了真正的最佳值与Bo找到的最佳值之间的预期差距。我们模拟了一个策略，它将当前评估的数据点作为输入，并通过神经网络输出要评估的下一个数据点，其中神经网络，其中基于神经网络的内核，GPS和基于相互信息的获取功能作为其层。利用我们的模型，通过通过采集功能和GP培训差距来训练基于神经网络的内核。我们的型号由来自多个任务的强化学习框架培训。由于神经网络在不同的任务中共享，我们可以从多个培训任务中收集有关博的知识，并利用知识进行无申测试任务。在使用三个文本文档数据集的实验中，我们证明该方法比现有方法实现了更好的Bo性能。
translated by 谷歌翻译
确定点过程（DPP）的最大后验（MAP）推断对于在许多机器学习应用中选择多种项目至关重要。尽管DPP地图推断是NP-HARD，但贪婪的算法通常会发现高质量的解决方案，许多研究人员已经研究了其有效的实施。一种经典且实用的方法是懒惰的贪婪算法，适用于一般的下函数最大化，而基于Cholesky的最新快速贪婪算法对于DPP MAP推断更有效。本文介绍了如何结合“懒惰”和“快速”的想法，这些思想在文献中被认为是不兼容的。我们懒惰且快速的贪婪算法与当前最好的算法几乎具有相同的时间复杂性，并且在实践中运行速度更快。 “懒惰 +快速”的想法可扩展到其他贪婪型算法。我们还为无约束的DPP地图推断提供了双贪婪算法的快速版本。实验验证了我们加速思想的有效性。
translated by 谷歌翻译